热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

原创|大数据入门基础系列之ClouderaManager版本的Hive安装部署

添加服务,一




点击上方 "大数据躺过的坑" 关注我们











在前面的博文里,我已经介绍了

大数据躺过的坑之2017年9月份所有微信公众号干货汇总

大数据躺过的坑之2017年10月份所有微信公众号干货汇总

大数据入门基础系列之ZooKeeper是什么?

原创 | 大数据入门基础系列之ZooKeeper是什么?(补充)

原创 | 大数据入门基础系列之ZooKeeper的特点

【夜读】20多岁的尴尬,你怕不怕?

原创 | 大数据入门基础系列之ZooKeeper如何实现分布式锁

【夜读】你不优秀,可能是因为你在“假装努力”

原创 | 11月的第一个双休日,送你一首好美的歌!祝你开心,快乐,幸福!

原创 | 大数据入门基础系列之Apache版本的Zookeeper集群详细部署搭建(包括单节点、3节点、5节点)

【夜读】你在消磨时光,时光也在消磨你

原创 |【福利】Adobe Photoshop CC 2015 (32/64 Bit)功能及破解方法

在吗?我想你了!《想你的夜晚》我好孤独!你也在想我吗?

原创 | 大数据入门基础系列之CDH版本的Zookeeper集群详细部署搭建(3节点)

【夜读】慢慢变好,是给自己最好的礼物

原创 | 福利大放送:机器学习视频干货资料免费分享(100G)更新ing

原创 | 程序员该如何有效率的提升自己?

他人投稿 | 大数据入门基础系列之目前最新Apache的Zookeeper稳定版本集群详细部署搭建(3节点)(补充)

原创 | 当你垂头丧气看不清未来的时候就读一遍,夜空中最闪亮的星照耀着你

写给正在忙论文的你 |  搜集论文材料的重要性

【夜读】你不优秀,认识谁都没用

原创 | 大数据入门基础系列之浅谈ZooKeeper的数据模型

【夜读】你一无所有,你拥有一切。但,你得小心了

原创 | 大数据入门基础系列之ZooKeeper的三类角色(Leader、Follower、ObServer)

【夜读】你自己不努力改变,没有人能替你成长

大数据入门基础系列之ZooKeeper的浅谈集群间消息通信

【夜读】小时候我以为,长大后会没有烦恼……

原创 | 大数据入门基础系列之浅谈ZooKeeper的数据存储结构

原创 |  九月哥给大家发红包雨口令

原创  |“大数据躺过的坑”来啦, 这就是比“双11”更重要的活动!

【夜读】一个人,也可以活成千军万马

【夜读】今晚,重温父亲的《背影》,致远方老家的父亲

原创  |  大数据入门基础系列之浅谈ZooKeeper的架构图

【夜读】最怕你抱怨,你又不去改变

原创 | 大数据入门基础系列之浅谈ZooKeeper的读写数据

【夜读】你以为是自己输在了起跑线,其实是别人赢在了终点

原创 | 大数据入门基础系列之浅谈ZooKeeper的数据读写一致性

原创 |  九月哥:天下没有免费的午餐(大数据躺过的坑)

【夜读】真正自律的人,从不给自己找借口

原创 | 大数据入门基础系列之ZooKeeper如何处理单点故障

【夜读】生活越糟糕,你越要过得好

原创 | 大数据入门基础系列之ZooKeeper的运行模式

原创 | 大数据入门基础系列之ZooKeeper的读写机制

原创 | 大数据视频干货资料免费分享(100G)更新ing

原创 | 福利大放送:机器学习和深度学习视频干货资料免费分享(100G)更新ing

【夜读】你烦恼的根源主要在于,想得太多却做得太少

原创 | 大数据入门基础系列之ZooKeeper的Server

【夜读】从现在开始,就是最好的时间

原创 |  大数据入门基础系列之ZooKeeper如何保证服务的高可用性

原创 | 致敬曾经的我,送给2018考研的你们(最后32天)

【夜读】人和人的差距,到底是怎么拉开的

原创 | 大数据入门基础系列之详谈ZooKeeper的原子广播机制和Zab协议

【夜读】今天没有比昨天糟,就很好呀

原创 | 大数据入门基础系列之浅谈ZooKeeper的应用场景(上)

原创 | 大数据入门基础系列之浅谈ZooKeeper的应用场景(下)

原创 | 感恩节,你感恩了么?

【夜读】你不是没时间,你只是不去行动

原创 | 大数据入门基础系列之浅谈ZooKeeper的写数据流程(面试热点)

原创 | 大数据入门基础系列之详谈Hive是什么?








      陆续写出以上博文,在对hadoop集群安装,今天收到群里群外好几位朋友的留言。

目前向我咨询:

   (1)我到底如何去安装哪种版本的集群;

   (2)我的配置是怎样怎样,然后帮我参考分析等,我内存只有,是不是小了,怎么办?

   (3)我公司已经有N台机器,还想扩M台机器?

    (4)怎么样去做数据备份和迁移?

    (5)... ...


 我的回答:

    (1)如果你是大数据的初学者,以及你自己电脑条件有限(我相信,大部分人的电脑物理内存都是最大8G),为此,也是更好地去把基础和原理夯实基础,所以,建议初学的你从Apache版本的hadoop集群开始学起。

      大数据入门基础系列之Apache版本的hadoop集群详细部署搭建(包括HA和非HA)(包括单节点、3节点、5节点)



     (2)内存小了,如果你才有4G,是严重不满足大数据集群的最低配置的。除非你弄个单节点伪分布集群,但是,也是非常暂时的一个学习时间阶段,必须至少得去加内存条达到8G。

        至于如何加内存条,这里可以参考我之前给自己电脑加内存条写下的一篇博文,仅供参考,不懂的可以在本平台对应群里进行交流。(不难)

给自己电脑加内存条的一些事

http://www.cnblogs.com/zlslch/p/5830875.html


     (3)(4)关于从N台现有机器,到扩容至M台机器,我后续整理再贴出博文。目前这方面,由于在校明年6月份毕业的我,并没有来得及有其他精力来亲身做这方面的工作。

     (5)... ...



    在这里,我先说明下,有博友留言给我说,没有写出ClouderManager版本的hadoop集群搭建博文,为此,特意写出此篇博文。

      1 、最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责、认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本)。

  2、大数据集群范围包括3节点和4节点。本人都尝试过。

  3、 安装搭建包括离线和在线。本人都尝试过

  4、 版本包括自定义指定和官方最新版本搭建。本人都尝试过。

  5、大数据集群节点的增加和删减。本人都尝试过。

  6、虚拟机和真实物理机上搭建。本人都尝试过。




Cloudera Manager是啥?主要是干啥的?

http://www.cnblogs.com/zlslch/p/6674972.html


CentOS6.5下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

http://www.cnblogs.com/zlslch/p/6815670.html



Ubuntu14.04下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)(在线或离线)

http://www.cnblogs.com/zlslch/p/7076561.html




关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得(图文详解)

http://www.cnblogs.com/zlslch/p/7093829.html









ClouderaManager版本的Hive安装部署

大数据入门基础系列之ClouderManager版本的hadoop集群详细部署搭建(1、3、4节点)(在线或离线)


        对于关于ClouderaManager版本的hive,是非常的简单,也许你刚开始在安装ClouderaManager时没有考虑到hive(比如你开始因为你的笔记本学习条件有限,就只安装了个hadoop)。然后, 你现在需要来安装并学习hive组件,其实,这都是非常简单的。添加服务,一步一步走下去就是了。








同时,大可以关注我的个人博客

   http://www.cnblogs.com/zlslch/   和  http://www.cnblogs.com/lchzls/ 



       以及对应本平台的QQ群:161156071(大数据躺过的坑)








        本文版权归大数据躺过的坑)作者和微信公众平台共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接,否则保留追究法律责任的权利。 如果您认为这篇文章还不错或者有所收获,您可以通过下边的“打赏”功能 打赏我一杯咖啡【物质支持】,也可以点击右下角的【点赞】按钮【精神支持】,因为这两种支持都是我继续写作,分享的最大动力!

看完本文有收获?请转发分享给更多人

关注「大数据躺过的坑」,提升大神技能






觉得不错,请点赞和留言↓



推荐阅读
  • Ubuntu 环境下配置 LAMP 服务器
    本文详细介绍了如何在 Ubuntu 系统上安装和配置 LAMP(Linux、Apache、MySQL 和 PHP)服务器。包括 Apache 的安装、PHP 的配置以及 MySQL 数据库的设置,确保读者能够顺利搭建完整的 Web 开发环境。 ... [详细]
  • 本文详细探讨了在Web开发中常见的UTF-8编码问题及其解决方案,包括HTML页面、PHP脚本、MySQL数据库以及JavaScript和Flash应用中的乱码问题。 ... [详细]
  • HTTP(HyperTextTransferProtocol)是超文本传输协议的缩写,它用于传送www方式的数据。HTTP协议采用了请求响应模型。客服端向服务器发送一 ... [详细]
  • 本文探讨了 Kafka 集群的高效部署与优化策略。首先介绍了 Kafka 的下载与安装步骤,包括从官方网站获取最新版本的压缩包并进行解压。随后详细讨论了集群配置的最佳实践,涵盖节点选择、网络优化和性能调优等方面,旨在提升系统的稳定性和处理能力。此外,还提供了常见的故障排查方法和监控方案,帮助运维人员更好地管理和维护 Kafka 集群。 ... [详细]
  • 在CentOS系统中部署与配置ZooKeeper详解 ... [详细]
  • 提供Scikit-learn中文版官方文档链接,帮助机器学习爱好者和开发者快速上手。 ... [详细]
  • POJ2263是一个经典的图论问题,涉及寻找从起点到终点的最大载重路径。本文将详细介绍该问题的背景、解题思路及代码实现。 ... [详细]
  • 使用 jQuery 实现页面加载进度条
    页面加载进度条是提升用户体验的重要工具,通过在页面头部显示一个加载状态,并在页面完全加载后隐藏,可以有效减少用户的等待焦虑。本文将详细介绍如何使用 jQuery 实现这一功能。 ... [详细]
  • 本文详细介绍了如何使用Heartbeat构建一个高可用性的Apache集群,包括安装、配置和测试步骤。 ... [详细]
  • 本文介绍了 PHP 的基本概念、服务器与客户端的工作原理,以及 PHP 如何与数据库交互。同时,还涵盖了常见的数据库操作和安全性问题。 ... [详细]
  • mybatis 详解(七)一对一、一对多、多对多
    mybatis详解(七)------一 ... [详细]
  • web页面报表js下载,web报表软件 ... [详细]
  • 本文为初学者提供了一条清晰的学习路线,帮助他们逐步成长为优秀的Web开发人员。通过十个关键步骤,涵盖从基础到高级的各个方面,确保每位学习者都能找到适合自己的学习方向。 ... [详细]
  • 本文介绍了如何查看PHP网站及其源码的方法,包括环境搭建、本地测试、源码查看和在线查找等步骤。 ... [详细]
  • 本文详细介绍了 Spark 中的弹性分布式数据集(RDD)及其常见的操作方法,包括 union、intersection、cartesian、subtract、join、cogroup 等转换操作,以及 count、collect、reduce、take、foreach、first、saveAsTextFile 等行动操作。 ... [详细]
author-avatar
mobiledu2502853623
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有